Xưa kia nơi đền Bạch Mã tọa lạc thuộc địa dư phường Hà Khẩu, tổng Đông Thọ, huyện Thọ Xương, phủ Hoài Đức, Thăng Long.

Đền Bạch Mã được xây dựng từ thế kỷ 9 để thờ thần Long Đỗ (Rốn Rồng)- vị thần gốc của Hà Nội cổ. Đến thế kỷ X, Khi đưa quân đi dẹp loạn, Đinh Bộ Lĩnh đã đến đền Bạch Mã phía đông thành Đại La làm lễ cầu đảo xin Thần phù hộ cho nước, cho được vạn sự thì sẽ phong sắc để biểu dương sự anh linh.[1][2] Đinh Bộ Lĩnh đã đến làng Đặng Xá (Văn Xá, Kim Bảng, Hà Nam) chiêu binh, từ đấy Đinh Bộ Lĩnh đánh đâu được đấy, được tôn là Vạn Thắng Vương, bình được 12 sứ quân. Sau khi thống nhất đất nước, trở về làng Đặng Xá, vua Đinh Tiên Hoàng mơ thấy một vị thần tự xưng là Thần Bạch Mã báo mộng rằng: ‘’Thần đã vâng mệnh Hoàng Thiên, theo vua đánh giặc. Nay thiên hạ đã yên bình, nhà vua chưa lễ tạ, thế là không đúng lễ’’. Vua tỉnh dậy, biết Thần rất là linh ứng, liền phong tặng mĩ tự,phong là: Hộ Quốc Bảo Cảnh Linh Thông Tế Thế, Đô Đại Thành Hoàng Linh Lang Bạch Mã Đại Vương Thượng Đẳng Phúc Thần. Đinh Tiên Hoàng sai sứ giả mang sắc phong thần Bạch Mã về xã Đặng xá, huyện Cổ Bảng, Phủ Lý Nhân, Đạo Sơn Nam, truyền cho nhân dân xây thêm một đền thờ thần Bạch Mã trên quê hương Hoàng hậu Dương Thị Nguyệt để thờ phụng, gọi là đền thờ Thần Linh Lang Bạch Mã. Đến triều Nguyễn, vua Đồng Khánh năm thứ 9, đã ban sắc phong cho Ngài là: Hàm Quang Thượng Đẳng Thần, đặc cách cho thờ phụng, để ghi nhớ ngay vui của nước và tỏ rõ biển lệ thờ tự. Do đó mà ngày nay ở Hà Nam cũng có đền Bạch Mã thờ vị thần ở quốc đô Thăng Long.

Năm 1010, khi Lý Thái Tổ dời đô từ Hoa Lư ra Thăng Long, định đắp thành nhưng nhiều lần thành đắp lên lại bị sụp đổ. Vua cho người cầu khấn ở đền thờ thần Long Đỗ thì thấy một con ngựa trắng từ đền đi ra. Vua lần theo vết chân ngựa, vẽ đồ án xây thành, thành mới đứng vững. Thần được vua Lý Thái Tổ phong làm Thành hoàng của kinh thành Thăng Long.

Văn bia hiện còn ở đền cho biết, đền Bạch Mã được tu bổ lớn vào niên hiệu Chính Hòa (1680-1705) đời Lê Hy Tông, đến năm Minh Mệnh thứ 20 (1839) lại được tu bổ thêm: sửa lại đền, dựng riêng văn chỉ, xây Phương đình, quy mô ngày càng rộng rãi, cảnh quan tôn nghiêm, nổi tiếng ở chốn đất thiêng.